【新機能】Amazon CloudWatch LogsのログデータをAWS Lambdaでリアルタイムに処理する

こんにちは、せーのです。今日はCloudWatch Logsのログをより扱いやすくするための新機能をご紹介します。

より手軽になりました

CloudWatch Logsのデータをリアルタイムに処理する方法は基本的には一緒で、フィルタパターンを作成し、CloudWatch Logsに適応させ、ログの中にフィルタパターンに一致する文字列がヒットしたら後続の処理を行う、というものです。 今までは

• CloudWatchのアラーム
• Amazon Kinesis

などを後ろにつけることができました。今日の新機能であらたにここにLambdaが利用できるようになりました！ログ処理でkinesisを持ち出すのはちょっと、という場合などに手軽に使えるLambdaは便利ですね。

やってみた

それでは早速やってみましょう。マネージメントコンソールからLambdaを開き、ファンクションの新規作成を選びます。

Blueprintの中にCloudWatchLogsと連携するサンプルがあるのでこちらを使います。 選択すると対象となるCloudWatch Logsのロググループとフィルタパターンを入力する画面が表示されます。

今回はVPC FlowLogのデータから特定のEC2にアクセスされた時のデータをLambdaで拾ってみたいと思います。対象のEC2のIPをフィルタパターンにセットします。

サンプルのコードを見てみると、CloudWatch Logsのデータをgunzipで展開してjsonをパースしているようですね。今回はこのまま使います。 他のAWSリソースは今回は使いませんのでRoleはBasicなものを新規に作ります。

出来上がったのがこちらです。すぐに適用させる場合は[Enable Event Source]を[Enable now]に選択して下さい。

それでは試してみます。対象となるEC2にSSHアクセスします。

ssh [email protected] -i ~/dev/key/cm_
cm_experimentation.pem  cm_winkey
cm_us_east1.pem         cm_winkey_private.ppk
Tsuyoshis-iMac:~ Tsuyoshi$ ssh [email protected] -i ~/dev/key/cm_experimentation.pem
Warning: Permanently added '54.92.3.207' (RSA) to the list of known hosts.

       __|  __|_  )
       _|  (     /   Amazon Linux AMI
      ___|\___|___|

https://aws.amazon.com/amazon-linux-ami/2015.09-release-notes/
[ec2-user@ip-10-0-1-142 ~]$

CloudWatchのログを見てみて、Lambdaが反応したログが出力されていれば成功です。

反応していますね。成功です。

まとめ

いかがでしたでしょうか。とても簡単に連携することができました。 ログの警告データを元にセキュリティグループを変更する等色々なアイデアでお使いになってみてください。

参考サイト

• https://aws.amazon.com/about-aws/whats-new/2015/09/near-real-time-processing-of-amazon-cloudwatch-logs-with-aws-lambda/
• http://docs.aws.amazon.com/AmazonCloudWatch/latest/DeveloperGuide/Subscriptions.html